Anh là từng cầu thủ trong đội trẻ của Bayern München, Hummels chính thức chơi bóng chuyên nghiệp từ ngày ngày 19 tháng 12 năm 2006, cho đến 2010. Anh chơi trận đấu đầu tiên tại Bundesliga vào ngày 19 tháng 5 năm 2007, trong mùa giải 2006–07 trong chiến thắng của Bayern München 5–2 trước 1. FSV Mainz 05.

Đầu năm 2008, Hummels đến Borussia Dortmund, dưới dạng cho mượn. Ngay từ lúc đó, anh nhanh chóng trở thành trụ cột của Dortmund, cùng với Neven Subotić tạo thành lá chắn thép trước khung thành của Roman Weidenfeller. Đầu năm 2009,anh đã được Dortmund mua đứt.

Mùa giải 2010–11 và 2011-12 vô cùng thành công với Hummels. Anh cùng với Neven Subotić là cặp trung vệ hay nhất Bundesliga, góp công lớn đưa Dortmund 2 năm liên tiếp vô địch Bundesliga.